PROJECT リッジアイの現場で使えるAI開発事例
- HOME
- リッジアイの現場で使えるAI開発事例
- LLM開発システム「ローカルRAGスターターBOX」
LLM開発システム「ローカルRAGスターターBOX」
生成AIコンサルティング・開発サービス
オンプレミス環境でユーザー固有の文書やデータを活用した RAG を実装することで、より手軽・迅速・安全な大規模言語モデル（LLM）開発を可能にするシステムを開発しました。
背景
LLM および RAG の開発にあたって、クラウド利用では様々な課題があり、特に、RAG の運用にあたって企業や研究機関が保有する機密性の高い学習データをイントラから外に出すことに、安全上の様々な懸念が多いのが現状です。
特徴
LLM・RAGの研究開発に最適なハードウェアとライブラリを予め用意しており、クラウド接続が不要なローカル環境上での LLM の利用や、ユーザー固有の文書やデータを活用した RAG の実装をすぐに始められるシステムです。
ハードウェアのサポートだけでなく、リッジアイの AI 開発に関する Q&A が利用できるバウチャーチケットが付属されているので、AI 専門家からのサポートを受けながら、機密性、正確性、リアルタイム性が担保された、より精度の高い LLM・RAG の構築を行うことが可能です。
GPU には NVIDIA Ada Lovelace アーキテクチャを採用した RTX Ada シリーズを搭載。最大 48GB の GDDR6 メモリと広帯域な NVLINK（マルチ GPU 時）を組み合わせることにより高い AI 学習性能及び推論性能を実現。開発環境には Dify OpenWebUI と Ollama Xinference を実装し、AI モデルには 2024 年に発表された Llama3.1 をはじめとした複数のモデルをプリインストールしています。
